From Images to Tasks: Characterizing Multimodal LLM Interactions in the Wild
从图像到任务：刻画多模态LLM真实交互
🧭 多模态LLM真实任务分布分析
University of Southern California · Microsoft · Microsoft Research
分析4万+图像上传对话，揭示多模态LLM真实任务分布及基准错位
📌 工作参考价值（4 点）
- 用户上传图像的意图通常是复合的，如商品图+文字需求（找相似、鉴别、搭配建议），应在多模态助手中构建复合意图理解，而非单一分类。
- 借鉴其分层能力框架（感知/认知/生成）作为埋点与监控维度，在拍照搜索或多模态客服中统计任务分布，指导模型迭代和资源分配。
- 真实使用中生成类任务（根据图片生成文案、表格、代码）占比较高但公开基准覆盖不足，业务上应自建生成质量评测集，避免依赖通用 benchmark。
- 跨模态 grounding 任务（如截图提取数据、图表转代码）在真实场景常见，可针对性加强 OCR+结构化理解+生成的能力链路。